Lake Formation の主要な機能を図と表でまとめる

もきゅりん

2020.08.14

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

はじめに

おはようございます、もきゅりんです。

最近は、データレイク関係に携わる機会があったため、ついでに Lake Formation を学びました。

Lake Formation とは通常数ヶ月単位で構築されるようなデータレイク環境を数日で構築してしまおう、という凄まじいサービスです。

当稿はその Lake Formation の主要な機能を図で整理するのが目的です。

20191001 AWS Black Belt Online Seminar AWS Lake Formation で記載されているように、 LakeFormation の主要な機能は2つです。

すなわち、ブループリントとアクセスパーミッション です。

この2つに焦点を当てて整理していきます。

ブループリントとは、データレイクにデータを簡単に取り込める「データ管理テンプレート」です。これを実行すると、汎用的なデータレイク環境がすぐに構築できてしまうイメージです。

現在(2020/08/14)は以下2つのブループリントがあります。

データベースには一括バルクロードと増分アップロードが可能です。

LakeFormation_Blueprint

下図がブループリントのイメージです。

LakeFormation_Workflow

ブループリントで必要なパラメータを入力してワークフローを作成できます。このワークフローは Glue ワークフローです。Lake Formation と Glue の両方でワークフローの表示と管理ができます。

なお、AWS Glue で直接ワークフローを作成することもできますが、Lake Formation のブループリントからワークフローを作成する方がはるかに簡単に自動化できます。

Lake Formation ではデータレイクの適切なセキュリティ管理を設計するために、IAMを拡張した独自のアクセス許可モデルを利用しています。Lake Formation上のリソースおよび格納されるデータに対して、よりきめ細かいアクセス制御を可能としています。

Lake Formation では下記表のように、4つのセキュリティパーミッション が存在し、それぞれアクセス対象が異なります。

注意する権限として、暗黙的なアクセス許可があります。 基本的には、各リソースを作成した当事者に対して、そのリソース以下(例えばデータベースを作成したらデータベースに属するすべてのテーブル)の権限が付与されます。

セキュリティパーミッション	内容
データロケーションのアクセス許可	データが保存される S3 パスのアクセスする権限
データカタログのアクセス許可	データカタログにデータベースとテーブルを作成、編集、および削除する権限
データアクセス許可	テーブル単位および列単位に対するデータアクセス権限
暗黙的なアクセス許可	各リソース作成者が持つ権限およびデータレイク管理者が持つ権限

Lake Formation のアクセス対象となるリソースの包含関係は以下のイメージです。

LakeFormation_accessControl

ブラックベルトに記載されているユーザーのペルソナとアクセス権限の表が下記です。

各ペルソナが必要な権限を付与されています。

LakeFormation_persona

上記表のペルソナとリソースの包含関係イメージをマップさせたのが下記表です。